Op het voorplein van het huidige kasteel stond in de 8ste eeuw reeds een Frankische nederzetting of versterkte hofstede. Ze was in hout opgetrokken en had als enige bescherming de grachten die haar omringden. Stilaan werden de gebouwen vervangen door stenen constructies met ringmuur om de bevolking te kunnen beschermen tegen mogelijke aanvallen.
Op hetzelfde voorplein, bouwde men in de 12de eeuw een eerste "Steen". Vandaag bestaan er nog vier torens die aan deze periode herinneren, de eerste staat rechts van de toegangspoort, de tweede is ingewerkt in het vroegere portiershuis en de twee laatste zijn ingebouwd in de voormalige achtergevel van de stallingen en zijn nu door een galerij verbonden.
Rond 1500 werd dit eerste slot in opdracht van Filip Hinckaert afgebroken. Hij liet het vervangen door het kasteel dat we nu kennen. Door de jaren heen komt het kasteel in verschillende handen terecht. De laatste kasteelheer, Jean de Croix, verhuurde de burcht vanaf 1929 aan de meest illustere familie uit onze gewesten, de Habsburgers. Zo verbleef Keizerin Zita er met haar gevolg tot 1940.
Tijdens de Tweede Wereldoorlog werd het reusachtige zadeldak met de kegelvormige daken op de torens, samen met een deel van de bovenverdieping, afgebroken. Er werd ook veel schade aangebracht door de Duitse soldaten die er hun intrek hadden genomen. Het vroeger zo imposante gebouw had veel van zijn charme ingeboet en stond er verlaten bij.
In 1957 werd het kasteel door de familie de Croix verkocht aan de gemeente Steenokkerzeel. Deze had de bedoeling het als gemeentehuis in te richten en de omringende gronden om te bouwen tot wandelpark. Financieel bleek dit echter niet haalbaar zodat de gronden verkaveld werden en het kasteel in erfpacht werd gegeven aan de stichting "Europahuis van België". Op 24 april 1964 werd het aangekocht door het toenmalig Ministerie van Nationale Opvoeding en Cultuur. Sinds 1970 doet het dienst als conferentieoord voor vrijetijdsbesteding.